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(54) Title: INTERACTIVE SURVEILLANCE SYSTEM 

(54) Bezdchnung: INTERAKTTVES OBERWACHUNGSSYSTEM 

(57) Abstract 

A process is disclosed for observing or monitoring an area 
in space. Images of the area (1) to be observed/monitored are 
taken by means of at least one camera (2), the converted image 
information is sent to a control computer (3), the control computer 
(3) checks the images for changes m the observed area ( 1 ), the main 
direction and/or speed of optically perceptible changes (movements) 
in the observed area are analysed by analysis of the optical flow, 
the analysis result is converted Into control instructions sent to a 
controller (4) mat mechanically moves the camera, and if required 
the position and/or size of the image section mat may be taken by 
the camera is modified. Also disclosed is an interactive surveillance 
system with a control c omputer (3) co nn ected to or integrated into a 
camera (2) or into one among several cameras. The control computer 

(3) receives and processes the data recorded by the cameras) and 
sends control signals to a zoom lens (5). A mechanical controller 

(4) reacts to impulses from the control computer (3) and modifies 
the recording section of the area (1) to be observed or the size of the 
image section (5). A device reacts to signals from the control computer 




(3) and opens a normally closed passage. 



(57) Zusammen fanning 



Die Erfindung bctrifft tin Verfahren zum Beobachten odcr Obcrwachcn eines rtumlichcn Bereiches, umfassend das Aufhehmen von 
Bildcrn aus dem zu beobachtenden/Qberwachenden Bereich (1) mit HUfe mindestens einer Kamera (2), das Senden dcr urngewandelten 
Bildinformation an einen Steuentchner (3), das Auswcrten derBilderim Steuerrechner (3) in bezug auf Vcrtndcrungcn im zu uberwachenden 
Bereich (1), das AnaJyiieren dcr Hanpcricfatung und/odcr dcr Geschwindigkeit von optisch wahrnehmbaren Vertadenmgen (Bewegungen) 
im zu Obeiwschenden Bereicb mit Wife dcr Analyse des optischen Flusses, das Umsetzen des Analyseergebnisses in Steueibefchle 
zum mechanischen Bewegen der Kamera an cine Steuereinrichtung (4), und ggf . das Verftndem des von der Kamera aufhehmbaren 
Bildausschnittes in bezug auf Lage und/oder GrOfle; des weiteren bctrifft die Erfindung ein interaktives Obcrwachungssystem, welches 
einen mit einer Kamera (2) oder einer von mehreren Kameras (2) verbundenen Oder darin integrieiten Steuerrechner (3), der die von 
dei/den Kamera(s) aufgenoinmenen Daten aufniramt und verarbeitet und SteuersignsJe an ein Zoora-Objektiv (5) senden kann, ferner tint 
mechanische Steuereinrichtung (4), die auf Impulse des Steuerrechners (3) hin den Aufhahmeausschnitt aus dem zu flberwachenden Bereich 
(1) oder die OrOfie des Bildausschnittes (5) verflndem kann, sowie cine Einrichtung zum dfrnen einer Oblicherweise verschlossenen Passage 
aufweist, die auf Signale des Steuerrecfaners (3) reagiert 
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Interaktives Uberwachungseystem 

Die vorliegende Erfindung betrifft ein interaktives 
Beobachtungs- oder IJberwachungs system sowie ein Verfahren zum 
5 Uberwachen bzw. Beobachten eines raumlichen Bereiches, 

insbesondere zur Personenuberwachung oder Identif izierung von 
Personen. 

Der Stand der Technik kennt Kamerasysteme fur 
10 Uberwachungsauf gaben . Diese Kamerasysteme beechranken sich 

jedoch auf reine Visualisierungs- und tJbertragungsauf gaben, d.h. 
die Bildinformationen aus dem zu uberwachenden Bereich werden 
zur direkten, gleichzeitigen Beobachtung an Monitore in einer 
Zentrale ubermittelt, oder sie werden auf Videoband 
15 abgespeichert, urn sp&ter abgerufen werden zu k6nnen, bzw. sie 
werden nach einiger Zeit automatisch geloscht . 

Aus der EP 90 104 469.3 ist ein Verfahren zur Detektion von 
Intrudern bekannt, in welchem mit einer Videokamera und einer 
20 Video-Bild-Verarbeitungseinheit ein vorgegebener 

Uberwachungsbereich iiberwacht wird. Dabei werden die zu 
detektierenden Objekte durch zwei zeitlich versetzte Videobilder 
mit Hilfe eines Dif f erenzbildverf ahrens erkannt. 

25 Prinzipiell werden im Dif f erenzbildverf ahren 

aufeinanderfolgende Bilder voneinander abgezogen. Tritt eine 
hinreichend grofie Differenz zwischen zwei Bildern auf, so wird 
diese Differenz als "Bewegung" identif iziert bzw. analysiert. 

30 Der Einsatz solcher Verfahren hat jedoch Nachteile. So wird die 
Gesamtbewegungsrichtung im Falle komplexer Strukturen und einer 
inhomogenen Bewegungen (Beispiel: ein Ai^n schlenkert gegen die 
Lauf richtung) hfiufig inkorrekt ermittelt, da die 
Bewegungsrichtung anhand des ermittelten Schwerpunktes des zu 

35 beobachtenden Objekts analysiert wird. 
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Aufgabe der vorliegenden Erfindung ist es, ein 
Uberwachungs system bereitzustellen, in welchem die Kamera in 
Abhangigkeit vom Bildinhalt automatisch gesteuert und 
nachgefQhrt werden kann, wobei die Gesamtbewegangsrichtung mit 
hoher Genauigkeit ermittelt wird. 

Gel&st wird die vorgenannte Aufgabe mit Hilfe des Verfahrens 
gemafi Anspruch 1. 

Das interaktive Oberwachungssystem ist eine "intelligente 
Kamera", die selbstt&tig und schnell auf durch eine Analyse des 
optischen Flusses gewonnene Bildsignale reagieren kann. Es 
handelt sich dabei urn eine Echtzeit-Bildauswertung einer oder 
mehrerer Kameras, die der Bewegung in einem Uberwachungsbereich 
nachgef&hrt werden kann bzw. k6nnen und/oder uber die 
Veranderung des Bildausschnittes (Zoom) eine Vergrdfierung 
interessierender Bereiche bewirkt und somit z.B. die Gesichter 
von Menschen herausvergrSfiern kaxua. Das System eignet sich fur 
die Uberwachung von Gebauden (Eingangen, Tiefgaragen) und dgl . 
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Figur la-c zeigt die Auswertung von zu verschiedenen Zeiten (t 
und t+1) aufgenommenen Bildern (Fig. la) und zwar mit Hilfe der 
Analyse des optischen Flusses (Fig. lb) bzw. mit Hilfe eines 
Dif ferenzbildverfahrens (Fig. lc) . In Figur lb erkennt man ein 
optisches Flufivektorfeld. Das Kreuz zeigt jeweils den Ursprung 
der Bewegungsrichtung, Lange und Richtung des jeweiligen 
Striches weisen L&nge und Richtung des Bewegungsvektors . 

Durch z.B. Vektorsummation aller Einzelrichtungen kann nun auf 
eine Gesamtbewegungsrichtung von Objekten im Bild geschlossen 
und somit die Kamera nachgefCihrt werden. Mit einem reinen 
Dif ferenzbild ist dies, wie aus Figur lc erkennbar, nicht 
mGglich. 

Figur 2 zeigt ein System mit einer Autofocus- Kamera 2 mit einem 
Zoom-Ob jektiv 5, die auf einen Oberwachungsbereich 1 gerichtet 
ist. Die Kamera gibt die aufgenommenen Bildsignale an einen 
Steuerrechner 3 weiter, der wiederum mit einer mechanischen 
Steuereinrichtung 4 verbunden ist. Die Kamera kann in 
verschiedener Weise einer ggf . detektierten Bewegung nachgehen, 
beispielsweise indem sie die Bewegungsrichtung analysiert und 
dieser Richtung im zu uberwachenden Bereich folgt oder indem sie 
eine VergrSSerung eines interessierenden Bildausschnittes durch 
Zoomen bewirkt. 

Die Kamera kann kontinuierlich Bilder vom zu liberwachenden 
Bereich an den Steuerrechner senden. Selbstverst&ndlich sind 
auch intermittierende Aufnahmen oder ein diskontinuierliches 
Aufnehmen (nur zu interessierenden, vorherbestimmten oder nicht 
vorherbestimmten Zeitabschnitten) moglich. Im Anf angszustand ist 
dabei das an der Kamera angeschlossene Zoom- Ob jektiv auf den 
gr66tm6glichen Blickwinkel eingestellt. 

Die Bilder werden vom Steuerrechner (3) kontinuierlich 
ausgewertet, wobei nach Bewegiing im Bild gesucht wird. 
Tritt Bewegung im Bild auf, so wird mit Hilfe einer Analyse des 
optischen Flusses die Hauptrichtung der Bewegung und deren 
. Geschwindigkeit ermittelt. Durch die Vektorsummation aller 
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Einzelrichtungen wird dabei auf eine Gesamtbewegungsrichtung von 
Objekten im. Bild geschlossen, worauf die Kamera geeignet 
nachgefiihrt werden kann, so daS das bewegte Objekt immer voll im 
Bild ist. 

Der Steuerrechner ermittelt aus dem Ort der Bewegung im Bild 
Steuerbefehle, urn die Kamera auf eine geeignete Vergr66erung der 
Bewegung nachzustellen. Dabei werden die Bewegungen beztlglich 
des "Blickwinkels 11 der Kamera, also ihrer Lage bzw. des 
Ausschnittes aus dem zu uberwachenden Bereich, durch eine 
mechanische Steuereinrichtung bewirkt, die ihre Impulse vom 
Steuerrechner erhalt. Die Impulse zum Verandern des Zoom- 
Ausschnittes der Kamera werden vom Steuerrechner an die Kamera 
zuruckgeleitet . Durch die Kombination dieser beiden 
"intelligenten" Mafinahmen wird die Ursache der Bewegung (die 
Person, das Tier, das sich bewegt) optimal ins Bild gebracht und 
vergr&Sert, so daS z.B. die Bewegungen einer Person vollstSndig 
von der Kamera aufgenommen werden, solange sie sich im zu 
uberwachenden Bereich aufh&lt. 

Parallel dazu kann mit einem Mustervergleichsverf ahren, wie es 
z.B. aus dem Stand der Technik bekannt ist, im Bild nach 
gesichtsfarbigen Objekten gesucht werden und speziell ein 
Gesicht einer Person im Oberwachungsbereich herausvergr&Sert 
werden. So kann ein derartiges Mustervergleichsverf ahren z.B. 
nach ellipsenf6rmigen Objekten bestimmter Ausrichtung, Gr6Se und 
Helligkeit suchen, die im Normalfall Gesichter darstellen. 

Vorzugsweise schaltet die Kamera in regelmafiigen AbstSnden auf 
den gunstigsten Blickwinkel und den ihr grofitmSglichen 
Ausschnitt zuriick, urn evtl . weitere Bewegungen im 
Oberwachungsbereich zu detektieren. 

Die interaktive Kamera kann auch mit exist ierenden Gesicht s- und 
Personenerkennungssystemen gekoppe It werden, urn Aussagen uber 
die Identity der im Oberwachungsbereich befindlichen Person zu 
ermitteln. Hierzu wird z.B. ein Ausschnitt, der anhand der 
Bewegungsanalyse als zu einem bewegten Gesicht geh6rig erkannt 



WO 97/04428 



5 



PCT/DE96/01344 



wurde, herausvergrofcert und dieses Teilbild einem Muster- 
vergleich zugefuhrt, der in einer Dateribank mit abgespeicherten 
Gesichtsbildern nach dem Namen der entsprechenden Person sucht. 

In einer besonderen Ausgestaltung des erf indungsgemSfcen 
Verf ahrens kann durch automatischen Mustervergleich des 
aufgenommenen Bewegungsmusters mit abgespeicherten Mustern 
zwischen Personen und anderen bewegten Objekten (Blatter im 
Wind, Tieren usw.) unterschieden werden, urn Fehlalarme zu 
vermeiden. 

Selbstverst&ndlich kann das interaktive fiberwachungssystem nicht 
nur mit einer Kamera, wie oben beschrieben, ausgestattet sein. 
Bei der Verwendung mehrerer Kameras k6nnen 

Stereobildauswertungsverfahren zur Detektion und Erkennung von 
bewegten Objekten herangezogen werden. 

Das vorstehend beschriebene interaktive System zur Beobachtung 
bzw. tJberwa chung von Bereichen wie Geb§uden (EingSngen, 
Tiefgaragen) oder dgl. f&hrt durch eine Echtzeit-Bildauswertung 
die Kamera oder die Kameras der Bewegung nach und vergr&Sert den 
bewegten Gegenstand optimal heraus. Der bewegte Gegenstand, z.B. 
eine menschliche Person, kann automat isch 

klassif iziert/identif iziert werden, wobei sich Fehlalarme durch 
die Bewegung von Tieren, Blattern usw. vermeiden lassen. In der 
Kombination mit bekannten Bild- und Signalverarbeitxingsverf ahren 
eignet sich das Verfahren und das System der vorliegenden 
Erf indung zur nament lichen I dent if ikation der im 
Uberwachungsbereich befindlichen Personen und dadurch auch als 
Eingangskontroll system fur Bereiche, die nur einer definierten 
Personengruppe zuganglich sein diirfen (Anspruche 8 und 12) . 
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Ansprtiche : 

1. Verfahren zum Beobachten oder Uberwachen eines raumlichen 
Bereiches , umf assend 

das Aufnehmen von Bildern aus dem zu 
beobachtenden/uberwachenden Bereich (l) mit Hilfe 
mindestens einer Kamera (2) , 

das Senden (2a) der umgewandelten Bildinf ormation (A/D) 
an einen Steuerrechner (3), 

das Auswerten der Bilder ira Steuerrechner (3), um eine 
erste VerSnderung im zu uberwachenden Bereich (l) zu 
erfassen, 

das vektorielle Ermitteln der Bewegungsrichtung der 
optisch wahrgenommenen ersten Veranderung (Bewegungen) 
im zu uberwachenden Bereich mit Hilfe des optischen 
Flusses, 

das Umsetzen des Ermittlungsergebnisses in 
Steuerbefehle an eine Steuereinrichtung (4) zum 
mechanischen Bewegen der Kamera, und ggf . 
das VerSndern (5) des von der Kamera erfafiten 
Bildausschnittes in Bezug auf Gr6Se. 

2. Verfahren nach Anspruch 1, worin beim Erkennen von Bewegung 
im zu uberwachenden Bereich optische, akustische oder 
elektrische (Alarm-) Signale abgegeben werden. 

3. Verfahren nach einem der obigen Ansprviche, worin der 
Bildausschnitt mindestens einer Kamera (2) beim Erkennen von 
Bewegung durch Verandern eines Zoom-Ob jektes (5) vergrdSert 
wird. 

4. Verfahren nach einem der voranstehenden AnsprCtche, wobei 
zusatzlich parallel mit einem Mustervergleichsverf ahren im 
rSumlichen Bereich nach gesichtsf 6rmigen Objekten gesucht 
wird und bei Erkennen des sich bewegenden Ob jektes als 
Gesicht dieses mit Hilfe eines Zooms (5) der Kamera (2) 
vergr66ert und/oder seiner Bewegung mit der Kamera (2) 
nachgefiihrt wird. 
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5. Verfahren nach einem der voranstehenden Anspriiche, worin in 
vorbestimmten Abst&nden die ursprungliche Lage und/oder der 
ursprungliche Bildausschnitt der Kamera (2) 
wiederhergestellt werden, urn eine zweite oder dritte 
Ver&nderung im rfiumlichen Bereich (ebenfalls) zu erfassen. 

6. Verfahren nach einem der obigen Anspriiche, worin das Bilder- 
Auf nehmen kontinuierlich oder intermittierend ist . 

7. Verfahren nach einem der voranstehenden Ansprflche, wobei dem 
Steuerrechner (3) zusStzlich Informationen Ober Gesichter 
oder Personen aus einem Personenidentif ikationsverf ahren 
zug&nglich sind. 

8. Verfahren nach Anspruch 7 , worin die Bildinformationen der 
Kamera (2) rait gespeicherten Informationen zu definierten 
Personen verglichen wird und der Steuerrechner (3) mit einer 
Einrichtung verbunden ist, mit deren Hilfe beim Feststellen 
des Vorhandenseins von ausreichender Ubereinstimmung 
dahingehend, dafi Personenidentitat angenommen wird, eine 
ublicherweise verschlossene Passage geoffnet werden kann. 

9. Verfahren nach einem der voranstehenden Ansprxlche, wobei 
analysierte BewegungsablSuf e mit den Signalen bereits 
gespeicherter BewegungsablSuf e verglichen werden und die 
Abgabe von (Alarm-) Signalen nur dann erfolgt, wenn der 
Vergleich deutliche Abweichxingen ergibt . 

10. Verfahren nach Anspruch 9, wobei der Bewegungsvergleich 
kontinuierlich oder intermittierend erfolgt. 

11. Verfahren nach einem der voranstehenden Ansprtlche, worin die 
auszuwertenden Bilder Stereobilder sind, die yon 
insbesondere zwei Kameras gleichzeitig aufgenommen werden, 
um der Haupt-Bewegungsrichtung (vl,v2) der erst en und der 
zweiten "VerSnderung" jeweils eine erste (vl , ,v2 l ) und eine 
zweite (yl",v2 n ) - senkrecht zueinander orient ierte - 
Bewegeungskomponente zuzuweisen. 
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12. Verfahren nach einem der voranstehenden Ansprtiche, worin 
nach zyklischem Wiederherstellen des ursprunglichen 
(grSStmoglichen) Bilsaueschnitts einer der zwei Kameras (2), 
die im Bildausschnitt zuruckgestellte Kamera eine 
"Ver&nderung" als solches ermittelt und die nicht 
zuruckgestellte Kamera der Bewegung der echon erfafiten 
"Veranderung" weiter nachgefiihrt wird. 

13. Verfahren nach einem der voranstehenden Ansprilche, worin die 
zyklische im Bildausschnitt zuruckgestellte Kamera nach 
vorbestimmter Zeit der Nicht-Erf assung einer weiteren 
"VerSnderung" auf die von der anderen Kamera bereits erfaSte 
(erste) "Veranderung" schnell zielgefihrt wird, urn mi t 
beiden Kameras mehrere Bewegungskomponenten (vl,v2; vl , ,v2'; 
vl",v2") oder ein Stereobild zu erfassen. 

14 . Interaktives Uberwachungssystem, umf assend 
mindestens eine Kamera (2) mit einem Zoom-Objektiv (5), 
einen mit einer Kamera oder einer der Kameras verbundenen 
oder darin integrierten Steuerrechner (3), der die von 
der/den Kamera (s) auf genommenen Daten aufnimmt und 
verarbeitet und Steuersignale an das Zoom-Objektiv sendet, 
eine raechanische Steuereinrichtung (4), die auf Impulse des 
Steuerrechners (3) hin den AufnaJuneausschnitt aus dem zu 
aberwachenden Bereich (l) oder die Gr6fie des 
Bildausschnittes (5) verSndern kann, sowie 

eine Einrichtung zum 6ffnen einer verschlossenen Passage, 
die auf Signale des Steuerrechners (3) reagiert. 

15. Uberwachungssystem nach Anspruch 12, zusStzlich umf assend 
eine Einrichtung zum Erzeugen und Senden von akustischen, 
optischen und/oder elektrischen (Alarm-) Signalen. 

16. Uberwachungssystem nach Anspruch 14 oder 15, bei dem zwei 
Kameras (2) mit ihrem Ruheachse (100) etwa rechtwinklig zu 
einem Zentrum des rSumlichen Bereichs (1) angeordnet sind. 
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Figur 1b 
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Figur 1c 
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FigUT 2 
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